Tiền thân của Haganah là Ha-Shomer (השומר, tạm gọi là trương tuần), thành lập năm1907. Đó là một nhóm nhỏ các di dân Do thái tuần tra các khu định cư để đổi lấy một khoản tiền hàng năm. Chưa bao giờ họ có nhiều hơn 100 người.

Sau cuộc bạo loạn năm 1920 và cuộc bạo loạn năm 1921 tại Jaffa do người Ả rập khởi xướng, các lãnh đạo người Do thái ở Palestine cho rằng người Anh (được Liên Hiệp Quốc ủy nhiệm Palestine từ năm 1920) không muốn đối đầu với người A rập gây bạo loạn và tấn công người Do thái ở Palestine. Nhận thấy họ không thể chỉ trông chờ vào sự bảo vệ từ phía chính quyền Anh, ban lãnh đạo Do thái cho thành lập Haganah để bảo vệ nông trại và các nông trang tập thể Kibbutz của người Do thái. Ngoài việc canh gác cho cộng đồng Do thái, Haganah còn có trách nhiệm cảnh báo cho cư dân và đẩy lùi các cuộc tấn công của người A rập. Trong khoảng thời gian 1920–1929, Haganah thiếu bộ chỉ huy trung ương hoặc phối hợp hành động. Các "đơn vị" Haganah mang tính địa phương và vũ trang rất nghèo nàn: họ bao gồm chủ yếu là các nông dân Do thái thay phiên nhau canh gác nông trang và kibbutz. Sau các cuộc thảm sát do người A rập tiến hành năm 1929, vai trò của Haganah thay đổi hoàn toàn, nó trở thành một tổ chức lớn bao gồm gần như tất cả thanh thiếu niên và người trưởng thành trong các khu định cư Do thái, cũng như hàng ngàn thành viên từ các vùng đô thị. Tổ chức này cũng bắt đầu tìm mua vũ khí từ nước ngoài và thiết lập công xưởng chế tạo lựu đạn và các loại vũ khí thô sơ, chuyển mình từ một lực lượng dân quân không được huấn luyện thành một quân đội bí mật có năng lực.

Tới năm 1936 Haganah đã có thể huy động tới 10.000 người, cùng với 40.000 quân dự bị. Trong cuộc nổi loạn của người A rập 1936-1939 ở Palestine, tổ chức này tích cực tham gia về phía người Anh để dập tắt các cuộc nổi dậy. Mặc dầu chính quyền Anh không chính thức thừa nhận Haganah, lực lượng an ninh Anh hợp tác với tổ chức này bằng cách thành lập lực lượng Cảnh sát Vùng định cư Do thái, Lực lượng hỗ trợ Do thái và Đội đặc nhiệm ban đêm, được huấn luyện và chỉ huy bởi đại tá Orde Wingate. Kinh nghiệm chiến trường có được trong thời gian này trở nên hết sức hữu ích trong cuộc chiến tranh Ả rập-Israel 1948.

Nhiều chiến sĩ Haganah phản đối chính sách havlagah (tức kiềm chế) mà các thủ lĩnh chính trị Do thái (đang dần nắm quyền điều hành Haganah) áp đặt lên lực lượng này. Các chiến sĩ được chỉ thị chỉ bảo vệ khu định cư và không được tiến hành tấn công trả đũa vào các toán quân A rập hay cộng đồng của họ. Chính sách này mang tính thất bại chủ nghĩa với nhiều người vốn tin rằng tấn công là phương pháp phòng ngự tốt nhất, nên tới năm 1931, những thành phần hiếu chiến nhất của Haganah ly khai và thành lập Irgun Tsva'i-Leumi (Tổ chức quân sự Quốc gia), thường được biết đến với tên gọi "Irgun". Tới năm 1940, Irgun cũng bị phân hóa do tranh cãi liệu có nên tấn công người Anh trong thời kỳ Chiến tranh thế giới thứ hai, và tổ chức ly khai khỏi họ được biến đến với tên "Lehi" (viết tắt của tiếng Hebrew cho Lochamei Herut Yisrael, nghĩa là Chiến binh tự do Do thái, được đa phần dân chúng gọi là "nhóm Stern" theo tên thủ lĩnh của họ Abraham Stern).

Tới năm 1939, người Anh nghiêm cấm di dân Do thái đến Palestine và nhập khẩu lao động A rập từ các miền đất Trung Đông khác. Để đối phó, Haganah xây dựng Palmach thành một lực lượng xung kích ưu tú của Haganah và tổ chức nhập lậu di dân Do thái về Palestine. (Palmach trên thực tế được người Anh thành lập để đối phó với nguy cơ quân Đức của tướng Rommel tấn công. Tổ chức này quay ra hoạt động bí mật sau khi người Anh trở mặt tiếp theo thất bại của tướng Rommel). Chừng 100.000 người Do thái được nhập cư lậu vào Palestine trên hơn một trăm chuyến thuyền trong thời kỳ mười năm cuối của chiến dịch Ha'apala (tổ chức nhập cư lậu người Do thái). Haganah cũng tổ chức các cuộc biểu tình chống chính sách áp dụng quota nhập cư của Anh.

Năm 1944, sau khi Huân tước Moyne (Bộ trưởng Anh phụ trách Trung Đông) bị ám sát bởi thành viên của nhóm Stern, Haganah phối hợp với người Anh để bắt cóc, hỏi cung, và trong một số trường hợp, trục xuất thành viên của Irgun. Hoạt động này bị gọi là "The Saison", hay là cuộc săn, và nhằm vào Irgun hơn là nhóm Stern, có lẽ vì ngăn chặn nguy cơ cạnh tranh chính trị của Irgun với vai trò lãnh đạo của David Ben Gurion. Thị trưởng tương lai của Jerusalem, Teddy Kollek về sau được biết chính là quan chức có bí danh Bọ cạp, chịu trách nhiệm chính trong việc giao nộp thành viên của Irgun cho nhà chức trách Anh. Nhiều thanh niên Do thái, những người gia nhập Haganah để bảo vệ người Do thái hết sức bất mãn với những chiến dịch nhằm vào chính đồng bào họ. Tổ chức Irgun bị tê liệt, nhận lệnh của thủ lĩnh của họ là Menachem Begin không trả đũa để tránh nổ ra một cuộc nội chiến toàn diện, nên họ không đánh trả lại. "Cuộc săn" cuối cùng cũng kết thúc, vì sự trở mặt của người Anh trở nên quá rõ ràng, và những thành viên trẻ của Haganah ngày càng lớn tiếng phản đối chính sách này.